Lúc đó vua nước Tiền Tần là Phù Kiên đã làm chủ toàn miền bắc Trung Quốc, mưu tiêu diệt Đông Tấn để thống nhất toàn quốc. Phù Kiên chia quân cho các tướng đi đánh phá biên giới Đông Tấn.

Triều đình nhà Tấn họp bàn cử người mang quân ra chống giữ. Mọi người tranh luận mãi, cuối cùng Tạ An tiến cử Tạ Huyền. Trung thư lang Hi Siêu vốn bất hòa với Tạ Huyền nhưng khi nghe Tạ An tiến cử Tạ Huyền lại tỏ ra rất mừng rỡ, khen ngợi Tạ An.

Tấn Hiếu Vũ đế bèn triệu Tạ Huyền vào cung, phong làm Kiến Vũ tướng quân, thứ sử Duyện châu, lo việc quân sự Quảng Lăng, Tương Giang, Lâm Giang, trấn thủ Giang Lăng[1]. Tạ Huyền nhận lệnh xong bèn chiêu mộ binh sĩ,lấy Lưu Lao Chi làm Tham quân, tổ chức thành "quân Bắc phủ" vì khi đó quân Tấn đang rất thiếu lực lượng chiến đấu.Vì về sau Tạ Huyền kiêm lãnh Từ Châu đóng ở Kinh Khẩu (Giang Tô),người thời Tấn thường gọi Kinh Khẩu là Bắc Phủ từ đó có danh hiệu quân Bắc Phủ.

Ông tuyển lựa số đông là những người nông dân chạy nạn từ phương bắc về. Những người này phải bỏ quê hương, tha hương cầu thực nên rất nóng lòng chiến đấu để giành lại miền bắc, trở lại quê cũ.